miniReranker: Efficient Multimodal Reranking through Visual Cache Reuse and Interaction Sparsity
迷你重排序器：通过视觉缓存复用与交互稀疏性实现高效多模态重排序
🧭 多模态重排序 · 视觉缓存复用与稀疏交互
Eastern Institute of Technology, Ningbo · Netmind.ai · Munich Center for Machine Learning, LMU
通过视觉优先格式、提前退出、交互带及token剪枝，将单查询多模态重排序时间降至原来的不到1%，同时保持96%以上性能。
📌 工作参考价值（4 点）
- 视觉优先的 prefix 缓存复用：在电商图片搜索重排中，将图片（视觉 token）放在输入序列前面，可利用 prefix caching 复用绝大多数计算，仅替换文本 query，大幅降低 KV cache 重复生成开销。
- 提前退出与交互限制：对于候选量大的商品重排序，可在模型浅层插入相关性头，仅对 top-K 候选执行深层交互，或只在少数层启用跨图文注意力，有效平衡精度与延迟。
- 视觉 token 剪枝：利用 embedder 引导的 token 剪枝，在图文对比前预先剔除冗余视觉信息，减少输入长度，适合移动端或高吞吐的轻量级多模态重排场景。
- 工程融合思路：三项优化（early exit + interaction band + token pruning）可叠加使用，根据业务延迟预算灵活配置，例如先剪枝再浅层打分，最后仅对少量候选进行完整多模态交互。